0引言Flink可以部署于各种各样的集群之中，比如Flink自己的standalone集群（不依赖于其他资源调度框架，是Flink自带的），flinkonyarn集群等。而不管是standalone还是flinkonyarn都属于集群，还有一种特殊的单机flink——local。Flink真正用来做执行操作的叫做worker，进程在不同的环境模式下运行，名称有所不同。如在Standalone集群模式启动，JobManager叫做StandaloneSessionClusterEntrypoint，TaskManager中叫做TaskManagerRunner，而使用yarn集群启动，名称又不相
一、Flink流处理简介1.Flink是什么2.为什么要用Flink3.流处理的发展和演变4.Flink的主要特点5.FlinkvsSparkStreaming二、快速上手1.搭建maven工程2.批处理WordCount3.流处理WordCount三、Flink部署1.Standalone模式2.Yarn模式3.Kubernetes部署四、Flink运行架构1.Flink运行时的组件2.任务提交流程3.任务调度原理 五、Flink流处理API1.Environment2.Source3.Transform4.支持的数据类型5.实现UDF函数——更细粒度的控制流6.Sink六、Flink中的w
版本：JDK：1.8Flink：1.13Scala：2.11Hadoop：3.1.3一、前置准备工作1、更改配置文件postgresql.conf#更改wal日志方式为logicalwal_level=logical#minimal,replica,orlogical#更改solts最大数量（默认值为10），flink-cdc默认一张表占用一个slotsmax_replication_slots=20#maxnumberofreplicationslots#更改wal发送最大进程数（默认值为10），这个值和上面的solts设置一样max_wal_senders=20#maxnumberofwa
架构所有的分布式计算引擎都需要有集群的资源管理器，例如：可以把MapReduce、Spark程序运行在YARN集群中、或者是Mesos中。Flink也是一个分布式计算引擎，要运行Flink程序，也需要一个资源管理器。而学习每一种分布式计算引擎，首先需要搞清楚的就是：我们开发的分布式应用程序是如何在集群中执行的，这其中一定会涉及到与资源管理器的交互。其实，可以把资源管理看成是一个cluster的抽象。我们来看一下Flink集群会涉及到的重要角色。clientclient将编写的代码转换为程序的Dataflow，并对Dataflow进行优化，生成DataflowGraph，再将job提交给JobM
什么是FlinkCDC，以及如何使用CDC介绍FlinkCDC适用于场景？FlinkCDC的简单用例数据库配置创建数据库和相应的表开启mysql数据库bin-log日志1.如果是服务器2.如果在Windows使用小皮搭建FlinkCDCjava环境添加maven相关pom构建Sinkmain配置运行操作数据库查看结果操作数据JSON讲解CDC介绍数据库中的CDC（ChangeDataCapture，变更数据捕获）是一种用于实时跟踪数据库中数据变化的技术。CDC的主要目的是在数据库中捕获增量数据，以便在需要时可以轻松地将这些数据合并到其他系统或应用程序中。CDC在数据库管理、数据同步、数据集成和
ApacheFlink应运而生数字化经济革命的浪潮正在颠覆性地改变着人类的工作方式和生活方式，数字化经济在全球经济增长中扮演着越来越重要的角色，以互联网、云计算、大数据、物联网、人工智能为代表的数字技术近几年发展迅猛，数字技术与传统产业的深度融合释放出巨大能量，成为引领经济发展的强劲动力。大数据技术从2008年开始在国内逐渐兴起，到现在已经十几年了，在这段时间里，IT也在飞速发展，而大数据的出现和使用无疑给IT的迅猛发展提供了一臂之力。随着时间的推移，越来越多的公司在实时处理层面要求更高，希望数据从产生到完全被处理之间的时间延迟尽量减小，且能够应对实时处理带来的各种复杂问题，如数据延迟、数据的
参考文章：https://www.cnblogs.com/liugp/p/16755095.html如果你的程序中需要用到HDFS（一般是checkpint的存储目录），可以先参考上一篇文章：Hadoop、HiveOnk8s《Hadoop、HiveOnk8s》介绍FlinkOnK8s有两种方式session：先启动一个jobmanager，在提交任务，启动taskmangerapplication：直接将jar提交运行，每一个jar所在的环境都是单独的（主要讲这个）组件版本：hadoop：2.7.2flink：1.15.1一、构建DockerFilevimdockerfile-flink-1.
flink-cdc官网：OracleCDCConnector—CDCConnectorsforApacheFlink®documentationFlink环境依赖:ORACLE_SID=SIDexportORACLE_SIDsqlplus/nologCONNECTsys/passwordASSYSDBA（3）启用日志归档altersystemsetdb_recovery_file_dest_size=10G;altersystemsetdb_recovery_file_dest='/opt/oracle/oradata/recovery_area'scope=spfile;shutdownim
1、jobmanager日志 在yarn上可以直接看2、taskmanager日志 在flink的webui中可以看，但是flink任务失败后，webui就不存在了，那怎么看？这是jobmanager的地址hadoop02:19888/jobhistory/logs/hadoop02:45454/container_e03_1684463979345_0028_01_000001/container_e03_1684463979345_0028_01_000001/root然你要看taskmanager的地址，首先我们要知道taskmanager运行在 打开Jobmanager日
CDC 的全称是 ChangeDataCapture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。mysqlcdc需要mysql开启binlog，找到my.cnf，在[mysqld]中加入如下信息[mysqld]server-id=1log-bin=mysql-binbinlog-format=row重启数据库。2.创建springboot项目，pom添加依赖1.81.13.62.111.7.30org.apache.flinkflink-table-planner-blink
